Del 2: Kunstige neuroner
Forventet tid ca. xx x 90 min.
Vi anbefaler, at alle arbejder med alle aktiviteterne bortset fra aktivitet 4, som en en eksta udfordring til de dygtige.
Aktivitet 1 - Kunstige neuroner
Læs afsnittet "Medlemsapp til Good Food" i noten om kunstige neuroner.
Aktivitet 2 - Gradientnedstigning
Læs afsnittet "Hvordan bestemmes vægtene" i noten om kunstige neuroner (du behøver ikke at forstå alt i afsnittet - de "vilde" udregninger i forhold til at differentiere kan du for eksempel bare spring over!).
Vi vil illustrere gradientnedstigning i et simpelt eksempel:
Vi vil nu bruge gradientnedstigning til at bestemme minimum.
Det bliver lidt tungt at skulle lave disse udregninger i hånden. Vi vil derfor gøre det i Excel eller i GeoGebras regneark. I den næste opgave forklarer vi, hvordan man gør i GeoGebra:
Udfyld et regneark på denne måde:
- I celle
A1skriver du 6 (svarende til \(x=6\), der hvor vi starter). - I celle
B1skriver du 8 (svarende til \(y=8\)). - I celle
C1skriver duf(A1,B1)(det kræver, at du allerede har defineret funktionen i inputfeltet). - I celle
D1skriver du(A1,B1,C1)(læg mærke til at punktet bliver tegnet ind i koordinatsystemet).
- I celle
Vi skal nu have skrevet opdateringsreglerne ind. Du har nok tidligere fået, at \[ \frac{\partial f}{\partial x}=0.4x-1.2 \]
og
\[ \frac{\partial f}{\partial y}=0.6y-2.4 \]
Du skal udvide regnearket på denne måde:
- I celle
A2skriver du= A1 - 0.1*(0.4*A1-1.2). - I celle
B2skriver du= B1 - 0.1*(0.6*B1-2.4). - I celle
C2skriver duf(A2,B2). - I celle
D2skriver du(A2,B2,C2).
- I celle
Du kan nu markere række to, tage ved den lille kasse i nederste højre hjørne og trække ned for at beregne nye punkter. Gør det!
Hvor mange opdateringer skal du lave, for at funktionsværdien ikke ser ud til at ændre sig mere?
Svarer det minimum, du finder ved hjælp af gradientnedstigning til det minimum, som du tidligere har aflæst på grafen?
Tillykke! Du er nu kommet til "After Ski"!!
Aktivitet 3 - Tabsfunktioner
Vi vil her se lidt nærmere på tabsfunktionen, men baseret på et meget lille træningsdatasæt.
Vi ser igen på medlemsapp’en til Good Food, som vi også beskrev i noten. Nu vil vi bare nøjes med at se på kundens alder, som inputvariabel:
- \(x\): kundens alder målt i år
Targetværdien er igen:
\[ t= \begin{cases} 1 & \textrm{hvis tilbuddet aktiveres} \\ 0 & \textrm{hvis tilbuddet ikke aktiveres} \\ \end{cases} \]
Træningsdatasættet består af følgende tre træningseksempler:
| Nr. på træningseksempel \(m\) | Kundens alder \(x^{(m)}\) | Targetværdi \(t^{(m)}\) |
|---|---|---|
| \(1\) | \(25\) | \(0\) |
| \(2\) | \(40\) | \(0\) |
| \(3\) | \(60\) | \(1\) |
Tabsfunktionen bliver så:
\[ \begin{aligned} E &= \frac{1}{2} \sum_{m=1}^3 (t^{(m)}-\sigma(w_0 + w_1 \cdot x^{(m)}))^2 \\ & = \frac{1}{2} ((t^{(1)}-\sigma(w_0 + w_1 \cdot x^{(1)}))^2 +\\ &\quad \qquad (t^{(2)}-\sigma(w_0 + w_1 \cdot x^{(2)}))^2 + \\ &\quad \qquad (t^{(3)}-\sigma(w_0 + w_1 \cdot x^{(3)}))^2) \\ \end{aligned} \tag{1}\]
I flere CAS programmer kan det give problemer at tegne grafen for \(E\), selvom du nu har forskriften for funktionen. Derfor kommer grafen her:
Prøv at dreje lidt rundt på grafen. Det lyserøde punkt svarer til minimum.
I noten om kunstige neuroner forklarede vi, hvordan man bruger de fundne vægte (minimumsstedet for tabsfunktionen) til at lave en prædiktion. Det gøres på denne måde:
\[ \textrm{Kunden aktiverer tilbuddet: } \begin{cases} \textrm{Ja} & \textrm{hvis } o \geq 0.5\\ \textrm{Nej} & \textrm{hvis } o < 0.5\\ \end{cases} \tag{3}\]
hvor i vores tilfælde
\[ o = \sigma(w_0 + w_1\cdot x_1). \]
Vi vil nu se på, hvad det helt konkret betyder i vores lille eksempel.
Aktivitet 4 - Slow learning
På grafen for tabsfunktionen i figur 1 kan man se, at der er tre plateauer1 foruden det mørkelilla plateau, hvor minimum er. Disse tre plateauer vil vi undersøge i den næste opgave.
1 Et plateau betyder et fladt område på grafen.
Når man laver gradientnedstigning, starter man i en tilfældig værdi af \((w_0,w_1)\).
I noten om kunstige neuroner udledte vi opdateringsregler for vægtene. I vores simple tilfælde med kun én inputvariabel bliver opdateringsreglerne for \(w_0\) og \(w_1\) følgende:
\[ \begin{aligned} w_0^{(\textrm{ny})} \leftarrow & w_0 + \eta \cdot \sum_{m=1}^{3} \left (t^{(m)}-o^{(m)} \right) \cdot o^{(m)}\cdot (1-o^{(m)}) \\ w_1^{(\textrm{ny})} \leftarrow & w_1 + \eta \cdot \sum_{m=1}^{3} \left (t^{(m)}-o^{(m)} \right) \cdot o^{(m)}\cdot (1-o^{(m)}) \cdot x^{(m)} \end{aligned} \tag{4}\]
Vi vil nu undersøge, hvad der sker, hvis man starter gradientnedstigningen på enten det grønne plateau.
Vælg en \((w_0,w_1)\)-værdi på det grønne plateau.
Vi vil lave gradientnedstigning i GeoGebra. Vi starter med at definere træningsdatasættet, sigmoid-funktionen og vores learning rate \(\eta\) (kald sigmoid-funktionen for \(f\)). Det gør vi ved i inputfeltet for eksempel at skrive
x1=25for at angive inputværdien for det første træningseksempel. Algebra vinduet skulle gerne ende med at se sådan her ud:
Åbn et regneark: Vælg "Vis" \(\rightarrow\) "Regneark".
I den første række skal vi have lavet nogle overskrifter:
Stil dig i celle
A1og skriv"w0". Vi vil altså i kolonne A gemme alle \(w_0\)-værdier. Det skal ende med at se sådan her ud:
Her skal for eksempel o1 svarer til \(o^{(1)}\), hvor
\[ o^{(1)}=\sigma(w_0+w_1 \cdot x^{(1)}) \tag{5}\]
og E er værdien af tabsfunktionen defineret i (1). Vi definerer \(o^{(1)}\), \(o^{(2)}\) og \(o^{(3)}\), fordi det gør de efterfølgende udtryk lidt nemmere.
Vi skal nu have indsat den \((w_0,w_1)\)-værdi, som du tidligere aflæste på det grønne plateau.
- Indskriv den aflæste \(w_0\)-værdi i celle
A2og \(w_1\)-værdien i celleB2.
Vi skal have udregnet \(o^{(1)}\), \(o^{(2)}\), \(o^{(3)}\) og \(E\):
I celle
C2skriver du=f(A2+B2*x1), hvilket svarer til udtrykket i (5), fordi vi har defineret funktionen \(f\) som sigmoid-funktionen.Definér \(o^{(2)}\) og \(o^{(3)}\) i celle
D2ogE2på tilsvarende vis (husk at brugex2ogx3i stedet forx1).I celle
F2defineres \(E\) ved at skrive=0.5*((t1-C2)^2+(t2-D2)^2+(t3-E2)^2), hvilket svarer til udtrykket i (1).
Vi skal nu have lavet den første opdatering af vægtene i celle A3 og B3:
I celle
A3skriver du:=A2+eta*((t1-C2)*C2*(1-C2)+(t2-D2)*D2*(1-D2)+(t3-E2)*E2*(1-E2)), hvilket svarer til den første opdateringsregel i (4).I celle
B3skriver du det, der svarer til den anden opdateringsregel i (4).Celle
C3-F3opdateres ved, at du markerer celleC2-F2og tager ved den lille kasse i nederste hjørne og trække en række ned.Du kan nu lave lige så mange opdateringer du vil ved at markere celle
A3-F3og trække ned.
Det fænomen, som du lige har set i opgave 11, kaldes for slow learning. Man kan simpelthen risikere, at gradientnedstigningen ikke rigtig rykker sig ud af flækken, fordi man er kommet til at starte på et af de plateauer, som ses i figur 1. Det er ikke fordi, at man ikke ender i minimum på et tidspunkt, det tager bare meget lang tid, fordi man så at sige, skal gå langt på det flade stykke, inden der sker noget.
I den næste opgave, skal vi ud fra opdateringsreglerne i (4) se på, hvorfor slow learning opstår.
Som vi lige har set, opstår problemet med slow learning altså i de tilfælde, hvor outputværdien fra neuronen fejlagtigt enten er tæt på \(0\) eller \(1\). I det tilfælde vil enten \(o^{(m)}\) eller \(1-o^{(m)}\) være tæt på \(0\) – og når vi ganger med et tal, som er tæt på \(0\), så vil resultatet også være tæt på \(0\). Derfor bliver vægtene næsten ikke opdateret, selvom neuronen er "helt galt på den".
Problemet kan ledes tilbage til valget af den kvadratiske tabsfunktion, og vi vil i del 4 af dette forløb se på et bedre alternativ til denne tabsfunktion.
Lad os undersøge, hvad der sker, når man starter gradientnedstigning på kanten af et plateau.
I ovenstående opgave ender du formentlig med en værdi af tabsfunktionen på rundt regnet \(0\), svarende til at alle tre træningseksempler er klassificeret korrekt. Det svarer til, at du er endt nede i det mørkelilla plateau i figur 1.
Faktisk har lige netop denne tabsfunktion slet ikke et minimum, fordi alle \((w_0,w_1)\)-værdier i det mørkelilla plateau giver en værdi af tabsfunktionen på rundt regnet \(0\). Værdien af tabsfunktionen kan komme så sæt på \(0\), som det skal være, men bliver aldrig helt \(0\).
I den næste opgave vil vi se nærmere på de forskellige værdier af \((w_0,w_1)\) i det mørkelilla plateau.
Som vi lige har set, er der altså ikke den helt store forskel på \((w_0,w_1)\)-værdierne i det mørkelilla plateau. Det skyldes, at vores træningsdata er så ekstremt simpelt. Hvis vi vælger en aldersgrænse i intervallet \(]40,60[\) og prædikterer at alle under denne aldersgrænse ikke vil aktivere tilbudet, mens alle over vil, så vil vi være i stand til at prædiktere alle træningseksempler korrekt.
Som du så i forrige opgave, at svarer det til, at hvis bare forholdet
\[ \frac{-w_0}{w_1} \]
ligger mellem \(40\) og \(60\), så prædikterer vi alle træningseksempler korrekt. Det er netop det, der karakteriserer det mørkelille plateau i figur 1: Alle \(w_0\) og \(w_1\) værdier her har den egenskab, at \(-w_0/w_1\) ligger mellem \(40\) og \(60\). Den eneste forskel er, at nogle værdier er \((w_0,w_1)\) giver en mere stejl graf for sigmoid-funktionen, som du også så i opgave 13. Og jo stjelere graf desto tættere vil de prædikterede outputværdier komme på enten \(0\) eller \(1\) og dermed vil tabsfunktionen i (1) komme tættere på \(0\) (fordi de kvadrerede afvigelser mellem target og output vil komme tættere på \(0\)).
Aktivitet 5 - Brug af app
De træningsdata i tabel 1, som vi har brugt i det foregående er i virkeligheden alt, alt for simple. For det første er tre træningseksemplet alt for få. For det andet kan man jo bare kigge på træningsdata og lave en regel ud fra dem. Det kunne for eksempel være: Hvis kunden er 55 år eller under, så tror vi ikke, at hun vil aktivere tilbudet, og omvendt hvis kunden er over 55 år. Det behøver man jo ikke fancy AI metoder til at indse! For det tredje er det urealistisk, at alder alene kan afgøre, om en kunde aktiverer et tilbud eller ej. Man vil typisk inddrage andre inputvariable som for eksempel køn, forbrug med videre.
Vi vil derfor her se på et langt mere realistik eksempel, hvor træningsdatasættet er langt større og med mange flere inputvariable.
To be continued…